dsh-harness-dispatcher:固定任务下对照评测 DSH Agent Harness
dsh-harness-dispatcher 是 dsh-plugin-lab 的工作流类 DSH 插件,核心理念是评 harness 而非单评模型:对同一固定任务在受控管线变体上重复试跑,经 harness_export、inspect、run 导出审计并落盘 JSONL。支持 deny/fail/latency 故障注入与 trace、modelInput 两类 fold,输出自包含 run 目录。须 Node≥20、DSH^0.2.2-rc.1;资料未给官方安装命令,启用前请读源码与 MIT 许可。
阅读全文dsh-eval-harness:让 Agent 应用评测的每个数字可复现
dsh-eval-harness 是 LTJ002 维护的 DSH 技能包(非宿主功能插件),为 Agent 应用提供可复现评测方法学与可运行脚本:判据只取审计表、结构化日志等外部事实,正向加反向双向断言,基线按绝对条数对比,offline / live-strict / live 三档严格度中安全类零容忍,并用变异测试验证评测器自身没坏。覆盖 RAG 检索、RAG 生成、工具调用、提示词安全与多轮对话,框架无关,只要求对话可编程访问与副作用可查询。安装命令为 dsh plugin add https://github.com/LTJ002/dsh-eval-harness,数据集必须整体替换,eval_online.py 的三个接口需按项目改写,退出码 2 表示结果不可用而非质量失败。文档为中文,MIT 许可证,版本 1.0.0。
阅读全文